Current Result Document :
| 한글제목(Korean Title) |
개인화 및 라벨 노이즈를 향하여: 조기 학습 정규화는 연합 학습에서 무엇을 돕는가? |
| 영문제목(English Title) |
Toward Personalization and Label-Noise: What does Early Learning Regularization help in Federated Learning? |
| 저자(Author) |
김동규
신재우
김태현
윤세영
Donggyu Kim
Jaewoo Shin
Taehyeon Kim
Seyoung Yun
|
| 원문수록처(Citation) |
VOL 48 NO. 02 PP. 0524 ~ 0526 (2021. 12) |
한글내용
(Korean Abstract) |
연합 학습은 각 로컬 교육 데이터를 분산된 상태로 유지하면서 각 클라이언트의 개인 정보를 보호하며 학습하는 협업 기계 학습 설정의 해답으로써 등장했다. 인기에도 불구하고 연합 학습은 개인화 및 라벨 노이즈에 대해 견고하지 않은 문제로 인해 실제 의사 결정 시스템에 배포하는데 여전히 어려움을 겪고 있다. 구체적으로 개인화의 경우에는 연합 학습은 각 사용자에 맞는 모델을 학습하지 않으며, 라벨 노이즈에도 취약한 모습을 보인다. 본 논문에서는 이러한 문제를 목적 함수 최적화의 관점에서 살펴본다. 먼저, 우리는 로컬 모델이 데이터를 over-confident하게 예측하는 문제를 지적한다. 이 문제를 해결하기 위해 간단한 정규화 방법인 Federated Early Learning Regularization (FedELR)을 제안한다. FedELR에서는 각 클라이언트는 강력한 손실함수인 ELR에서 영감을 받아 서버 모델의 출력을 활용하여 로컬 데이터의 출력을 정규화한다. 우리의 방법은 기존 알고리즘과 비교하여 고도로 데이터가 불균형한 상황에 표준 벤치마크 데이터 셋에서 크게 향상된 성능을 보여주며, 라벨 노이즈에도 강건함을 보였다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
